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Resume 


Les  tests  de  UsibilitS  de  la  version  anglaise  des  questionnaires  du  Recensement  de  1991  et  du 
TRN  de  1993  ont  iti  effectuis  en  utilisant  les  logiciels  RightWriter  et  Grammatik  (employant 
lesfonctions  Flesch-Kincaid,  Flesch  et  Gunning's  Fog).  Les  versions  frangaises  ont  6ti 
testies  avec  le  logidel  Grammatik  (employant  lafonction  Flesch).  Les  questionnaires 
provisoires  frangms  et  anglais  de  1996.  ont  iti.  testis  avec  Grammatik  seulement. 

Remarques  g^ndrales  : 

►  Comme  tous  les  indicateurs,  les  indices  de  lisibilit6  doivent  6tre  utilises  avec 
prudence.  En  effet,  ces  indices  sont  calculus  avec  des  Equations  qui  contiennent  le 
nombre  de  mots  par  phrase  et  le  nombre  de  syllabes  par  mot;  ils  n'6valuent  done  pas 
tous  les  facteurs  qui  contribuent  ^  la  lisibilit6  d'un  texte. 

►  La  version  fran^aise  de  Grammatik  n'est  pas  encore  complfetement  adapt6e  de 
I'anglais,  car  elle  utilise  les  m§mes  6quations  et  niveaux.  Pour  cette  laison,  les  tests 
effectu6s  sur  les  questionnaires  et  sur  les  modules  frangais  montrent  toujours  un 
niveau  de  pointage  sup6rieur. 

►  Pour  le  Recensement  de  2001,  il  faudrait  essayer  de  conserver  le  groupe  qui  revolt  le 
niveau  de  langue,  la  traduction  et  le  compte  de  mots  appropri6  pour  les  questionnaires 
du  recensement. 

R6sultats  des  tests  pour  les  questionnaires  remplis  : 

►  La  comparaison  des  questionnaires  des  recensements  de  1991  et  de  1996  (fran^ais  et 
anglais)  ne  fait  ressortir  que  peu  de  changements  quant  ^  la  lisibilit^,  a  I'exception  du 
questionnaire  2A  anglais  de  1996,  qui  est  quelque  peu  plus  facile  k  comprendre  (7» 
ann6e)  que  celui  de  1991  (8'  ann6e).   Les  ameliorations  dans  les  versions  frangaises 
des  questionnaires  sont  6galement  minimes.  Cependant,  le  niveau  du  degr6  de 
lisibilit6  n'a  pas  chang6. 

Questionnaire  Ann6e  (anglaist  Annfe  (frangais) 

(Flesch,  Flesch-Kincaid)'  (Flesch  seulement) 

1991  &  1992  2A  8  (1991)  7  (1996)  university 

1991  &  1996  2B  9  universit6 

*  L'indice  de  Gunning's  Fog  donne  un  pointage  se  situant  k  deux  ann^s  environ  au-dessus. 
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R^sultats  des  tests  des  modules  : 


► 


Les  modules  les  plus  difficUes,  en  franQais  comme  en  anglais,  sont  les  suivants  : 
origine  ethnique,  mobility,  scolarit6  et  revenu.  De  fason  g6n6rale,  il  faut,  pour  les 
comprendre,  poss^der  une  certaine  Education  secondaire,  et  souvent,  universitaire. 
Les  modules  les  plus  difficUes  de  1991  restent  parmi  les  plus  difficiles  en  1996. 

Une  comparaison  des  modules  de  1991  et  de  1996  r6v61e  ce  qui  suit : 

le  module.de  la  mobility  a  enregistr6  la  plus  forte  diminution  de.lisibilit6,  en 
frangais  comme  en  anglais; 

le  module  de  I'origine  ethnique  a  enregistr6  une  diminution  sensible  pour  la 
version  frangaise,  mais  une  certaine  amelioration  pour  la  version  anglaise; 
la  "fin"  (demi^re  6tape  du  questionnaire)  des  versions  anglaises  des 
questionnaires  2A  et  2B  s'est  consid6rablement  am6Uor6e,  tandis  que  celle  des 
versions  fiangaises  correspondantes  est  rest6e  sans  grand  changement.   (Nota: 
la  "fin"  du  questionnaire  2A  de  1996  comprend  le  guide  de  I'utilisateur.); 
tous  les  autres  modules  n'ont  fait  ressortir  que  peu  de  changements,  quelle  que 
soit  la  langue. 


Executive  Summary 


Readability  tests  of  the  English  version  of  the  1991  Census  and  1993  NCT  questionnaires 
were  done  with  RightWriter  and  Grammatik  software  packages  (using  the  Flesch-Kincaid, 
Flesch  and  Gunning's  Fogfimctions),  wMle  the  French  versions  were  tested  with  the 
Grammatik  software  (using  the  Flesch  fimction).   The  1996  English  and  French  Census 
questionnaires  preliminary)  were  tested  with  Grammatik  only. 

General  Comments: 

►  Like  all  indicators,  readability  indices  should  be  used  with  caution.   Since  they  are 
calculated  using  equations  that  incorporate  the  number  of  words  per  sentence  and  the 
number  of  syllables  per  word,  indices  do  not  evaluate  all  the  factors  that  contribute  to 
language  readability. 

►  The  French  version  of  Grammatik  has  not  be«i  completely  adapted  from  the  English 
since  it  uses  the  same  equation  and  thresholds.  Therefore,  French  questionnaires  and 
modules  always  test  at  a  higher  grade  level. 

►  Consideration  should  be  given  for  the  2001  Census  to  the  continuation  of  a  committee  to 
review  language  level,  translation,  and  appropriate  word  use  for  Census  Questionnaires. 


Test  Results  for  Complete  Questiomiaires: 

►      A  comparison  of  1991  and  1996  Census  questionnaires  (English  and  French)  shows  littie 
change  in  readability  except  that  the  1996  English  2A  questionnaire  is  somewhat  easier 
to  understand  (Grade  7)  than  the  1991  version  (Grade  8).  The  improvements  in  the 
French  versions  of  the  questionnaires  are  equally  tiny.  However,  no  grade  level 
thresholds  are  crossed. 


Questionnaire  Grade  Level  (English')  Grade  Level  flFrench') 

(Flesch,  Flesch-Kincaid)*  (only  Flesch  avcdlable) 

1991  &  1996  2A  8  (1991)  7  (1996)  university 

1991  &  1996  2B  9  university 

The  Gunning's  Fog  index  shows  a  score  approximately  2  grade  levels  higher. 
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Test  Results  for  Modules: 

►  The  most  difficult  modules,  in  both  French  and  EngUsh,  are:  Ethnic  Origin,  Mobility, 
Education,  and  Income.  Generally,  these  require  at  least  some  high  school,  and 
frequentty  university,  to  understand.  The  most  difficult  1991  modules  remam  among 

the  most  difficult  for  1996. 

►  A  comparison  of  1991  and  1996  modules  shows  that: 

the  Mobility  Module  had  the  greatest  decline  in  readability  for  both  EngUsh 
and  French  versions;  .     u  * 

the  Ethnic  Origin  Module  declined  significantly  in  the  French:  version  but 
improved  somewhat  in  the  EngUsh  version;  _      „,..    ^    ,   . 

the  EngUsh  versions  of  the  2A  and  2B  questiomiaire  "endmgs   (the  final  step 
of  the  questiomiaires)  greatly  improved  while  the  French  versions  showed  htfle 
change.   (Note  that  the  "ending"  for  the  1996  2A  form  includes  the  User 

Guide.); 

aU  other  modules  showed  UtUe  change  in  either  language. 
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1.0  Introduction 

Selon  I'Enqufete  sur  les  capacitis  de  lecture  et  d'icriture  udlisies  quotidiennemera 
(ECL^UQ)  men6e  en  1989  par  Statistique  Canada,  plus  de  un  Canadien  adulte  sur  trois  ayait 
de  la  difficult^  k  lire  les  textes  de  la  vie  de  tons  les  jours,  qu'il  s'agisse  du  mode  d'emploi 
d'un  appareil  m6nager,  des  doses  de  medicaments  k  ne  pas  d6passer  ou  d'un  formulaire  de 
demande  d'allocations  familiales  (Multiculturalisme  et  Citoyennet^  Canada,  1991). 

Une  autre  enqufete,  effectu6e  en  1990  par  Dedma  Research,  a  permis  de  conclure  que  trois 
Canadiens  sur  cinq  avaient  de  la  difficult^  k  comprendre  les  formulaires  gouvemementaux. 
En  outre,  plus  des  trois  quarts  des  Canadiens  estiment  que  les  documents  publics  par  le 
gouveraement  devraient  6tre  plus  dairs,  plus  simples  et  plus  comprdhensibles 
(Multiculturalisme  et  Citoyennet6  Canada,  1991). 

Pour  ces  raisons,  le  gouvemement  f6d6ral  s'est  engag6  Ji  encourager  ses  fonctionnaires  i 
&rire  dans  un  style  clair  et  simple.   D'ailleurs,  une  des  politiques  de  communication  du 
gouvemement  f6d6ral  oblige  ce  dernier  k  informer  le  public  de  fagon  efficace.    Plus 
pr&is6ment,  les  renseignements  sur  les  politiques,  programmes  et  services  gouvemementaux 
devraient  Stre  pr6sent6s  de  fagon  Claire,   objective,  simple  et  comprehensible.   Les 
messages  devraient  renfermer  des  renseignements  r6pondant  aux  besoins  du  pubUc,  et  6tre 
exprim6s  en  des  termes  simples  et  coh^rents  (Conseil  du  Tr6sor,  1994). 

Dans  le  cas  d'un  recensement,  des  questions  bien  formul6es  facilitent  la  collecte  des  donn6es. 
EUes  contribuent  k  minimiser  le  fardeau  du  r6pondant  et  k  r6duire  le  nombre  d'erreurs  et  de 
non-r6ponse.   Ainsi,  un  des  objectifs  de  I'^uipe  de  projet  sur  la  determination  du  contenu  du 
recensement  de  Statistique  Canada  est  de  preparer  un  questionnaire  pouvant  etre  compris  et 
rempli  par  I'ensemble  de  la  population,  c'est-k-dire  par  une  population  ayant  au  moins  un 
niveau  de  8*  annfe  de  scolarit6. 

Pour  aider  JL  determiner  le  niveau  de  langue  des  questionnaires  du  recensement,  Statistique 
Canada  a  entrepris  en  1993  et  1994,  dans  le  cadre  d'un  projet  pilote,  une  etude  sur  le  niveau 
de  langue  des  questionnaires  en  testant  la  lisibilite  des  questionnaires  k  partir  de  logiciels 
informatiques. 

Ce  rapport  presente  une  evaluation  des  resultats  des  tests  de  lisibilite  effectues  par  Lawrence 
et  Noonan  pour  les  versions  anglaises  des  questionnaires  du  recensement  de  1991  et  du  Test 
du  recensement  national  (TRN)  et  par  Theriault  pour  les  versions  frangaises  de  ces 
questionnaires,  fl  s'interroge  sur  la  necessite  de  se  servir  de  tels  logiciels  et  il  apporte  des 
recommandations  k  observer  pour  le  recensement  de  2001. 

Ce  rapport  presente  egalement,  k  I'annexe  C,  les  resultats  de  tests  ulterieurs,  faits  par  Rea, 
du  questionnaire  du  Recensement  de  1991  et  du  questionnaire  provisoire  de  celui  de  1996. 
Ces  resultats  ne  sent  pas  examines  dans  le  corps  de  ce  rapport. 
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2.0  Les  rfeultats  des  tests  de  lisibilit6 

A  partir  de  logiciels  informatiques,  les  tests  de  UsibiUt6  ont  6t6  entrq>ris  par  Lawrence  et 
Noonan  pour  la  version  anglaise  des  questionnaires  du  recensement  (annexe  A)  et  par 

Th6riault  pour  la  version  ftan^aise  de  ces  questionnaires  (annexe  B).  Un  autre  test,  qui 
compare  les  questionnaires  des  recensements  de  1991  et  de  1996  (frangais  et  anglais)  est 
pr6sent6  k  I'annexe  C,  et  n'est  pas  examine  dans  cette  section.  Les  tests  de  lisibiUt^  pour  la 
version  anglaise  des  questionnaires  2B  du  Recensement  de  1991  et  du  Test  du  recensement 
national  (TSN)  de  1993  ont  6t6  effectu6s  k  I'aide  des  fonctions  Flesch-Kincaid,  Flesch  et 
Gunning's  Fog  des  logiciels  RightWriter  et  Grammatik  IV.  Pour  la  version  frangaise  de  ces 
questionnaires,  le  test  de  UsibiUt6  a  6t6  r6alis6  k  partir  de  la  fonction  Flesch  du  logiciel 
Grammatik  I  de  version  ftangaise.  Notons  toutefois  que  les  r^sultats  du  test?de  lisibilitd  de 
la  version  ftangaise  se  sont  inscrits  dans  le  cadre  des  travaux  du  Groupe  de  travail  sur  le 
frangais  et  Us  donnaient  suite  k  des  tests  semblables  portant  sur  la  version  anglaise  des 
questionnaires  du  recensement. 

2.1  Les  r&ultats  des  tests  de  lisibilit6  de  la  version  anglaise 

En  g6n6ral  les  logiciels  (RightWriter  et  Grammatik)  utilises  pour  tester  la  lisibilit^  des 
questionnaires  du  recensement  de  version  anglaise  ont  donn6  des  indices  globaux  diff6rents. 
En  effet,  selon  la  fonction  et  le  logiciel  utiHs6,  ces  indices  variaient  entre  la  7»  et  la  11 
ann6e  de  scolarit6  (voir  le  tableau  1,  annexe  A).  Pour  chacun  des  modules  des 
questionnaires,  les  tests  effectu6s  ont  t6v616  quant  k  eux  que  les  questions  portant  sur  la 
scolaritd  le  revenu  et  I'origine  ethnique  pouvaient  fetre  des  sources  de  difficult^  tr^ 
61ev6es  chez  un  r^ndant,  c'est-k-diie  se  situant  k  des  niveaux  sup6rieurs  ou  Equivalents  k 
environ  12  ann6es  de  scolarit6  (voir  les  tableaux  2  et  3,  annexe  A). 

n  est  int^ressant  de  mentionner  qu'il  existe  une  similitude  entre  les  r&ultats  des  tests  de 
lisibiUt6  par  module  et  les  commentaires  6crits  par  les  r6pondants  k  l'6tape  10  des 
questionnaires  du  TRN  de  1993.  En  effet,  k  cette  6tape  des  questionnaires  du  TRN,  les ^ 
questions  sur  le  revenu  et  I'origine  ethnique  aaient  parmi  celles  qui  avaient  suscit6  le  plus 
de  commentaires  tant  k  cause  des  difficult^  de  comprehension  que  des  objections,  qu'elles 
soulevaient  (McKeown,  1994).  Lors  des  observations  des  6tudes  quaUtatives  faites  k 
Montreal  Morin  (1994)  a  observ6  que  la  question  sur  le  revenu  6tait  une  cause  de  frustration 
Chez  un  ipondant  k  cause  de  la  nature  priv^  et  du  niveau  de  detail  des  renseignements 
demandds  ainsi  que  du  niveau  de  langage  trfes  61ev6  de  la  question. 

Selon  le  rapport  de  Lawrence  et  Noonan,  les  logiciels  de  verification  grammaticale  pourraient 
etre  utiUs6s  pour  mesurer  le  niveau  de  langue  des  questionnaires  k  la  condition  qu  ils  soient 
utiHs6s  avec  prudence.  Les  programmes  repr6sentent  des  outils  qui  peuvent  aider  I'utilisateur 
k  prendre  conscience  du  degr6  de  difficult^  de  la  question  ou  du  texte  6cnt  Cependant, 
comme  tout  outil,  les  logiciels  comportent  certaines  limites.  D'une  part,  n'6tant  pas 
humains.  Us  ne  peuvent  identifier  tous  les  types  d'erreurs.   Hs  risquent  parfois  de  se  tromper 
en  relevant  des  erreurs  dont  le  niveau  de  la  phrase  est  jug6  correct.   D'autre  part,  les 
logiciels  sont  Umitds  dans  leur  capacity  d'analyser  un  questionnaire.  En  d^pit  de  ces 
limites,  les  indices  obtenus  k  partir  des  logiciels  de  verification  grammaticale  ont  6t6 


con^us  pour  fetre  utilise  comme  un  indicateur,  infonnant  I'utilisateur  des  sources  de 
difficult^  de  compr6hensioii  qu'un  r^pondant  pourrait  rencontrer.  N^anmoins,  ils  ne 
devraient  pas  gtre  employes  comme  une  mesure  absolue. 

2.2  Les  r^sultats  des  tests  de  lisibilit6  de  la  version  fran$aise 

Les  tests  de  lisibilit^  effectu6s  uniquement  k  partir  de  la  fonction  Flesch^  de  Grammatik  ont 
donn6  pour  les  questionnaires  du  recensement  de  1991  et  du  TRN  de  1993,  un  niveau  de 
lisibilit^  global  difficUe^.  Cependant,  les  r6sultats  du  test  de  lisibilit6  pour  chacun  des 
modules  de  ces  questionnaires  d^montrent  que  la  formulation  des  questions  en  anglais  pour 
chacun  des  modules  des  questionnaires  du  recensement  est  g6n6ralement  au  niveau  «facile» 
alors  qu'en  fran^ais  la  cote  se  situe  enti-e  «difficile»  et  *tr^  difficile*  (voir  les  tableaux  1 
et2). 

Dans  son  rapport  Thdriault  en  arrive  k  la  conclusion  que  le  test  de  lisibilit^  k  partir  du 
logiciel  informatique  Grammatik  n*est  gufere  flable  (annexe  B).  Sur  ce  point,  la 
conclusion  de  Th6riault  est  plus  pessimiste  que  celle  de  Lawrence  et  Noonan.  Selon 
Th6riault,  les  questionnaires  firangais  ne  sont  pas  n6cessairement  plus  difficiles  k  comprendre 
que  les  questionnaires  anglais.   En  effet,  typiques  k  la  langue  frangaise,  les  questionnaires 
ftangais  comportent  simplement  plus  de  mots  par  phrase  et  plus  de  syllabes  par  mot  que  les 
questionnaires  anglais.  En  d'autres  mots,  le  logiciel  Grammatik  I  ne  semble  pas  6tre  adapts 
k  la  langue  ftangaise.  En  effet,  le  logiciel  Grammatik  I  d'adaptation  frangaise  contient  la 
liidme  formule  (fonction  Flesch)  que  celle  retrouv6e  dans  les  logiciels  de  version  anglaise. 
Selon  le  guide  de  r6f6rence  de  Multiculhiralisme  et  Citoyennet6  Canada  (1991),  les  propos  de 
Th6riault  sont  appuy6s  en  partie  par  ceci : 

«Cela  ne  veut  pas  dire  que  vous  devez  6viter  k  tout  prix  les  mots  qui  ont  plus  de 
deux  syllabes.  En  frangais,  des  mots  relativement  longs  sont  parfois  tr^  clairs,  et 
nous  les  employons  dans  la  vie  de  tous  les  jours  :   «particuli&rement», 
•monopoliser*,  «admissibilit6»,  et  ainsi  de  suite.  Toutefois,  souvenez-vous  que  si 
voti«  document  s'adresse  6galement  k  des  personnes  dont  les  capacity  de  lecture 
sont  faibles,  il  est  pr6f6rable  d'utiliser  des  mots  courts,  mSme  si  cela  vous  oblige  k 
en  employer  plusieurs»  (Multiculturalisme  et  Citoyennet6,  1991). 


1.  La  formule  de  focilit^  de  lecture  Flesch  s'^once  comme  suit: 

1,015  X  (longueur  moyenne  de  phrases) 
+     0,846  X  (nombre  de  syllabes  par  100  mots) 
206,835  -  Total  =  Score  de  iacilit6  de  lecture  Flesch. 

2.  Le  test  de  facility  Flesch  a  domi6  im  score  de  lisibilit^  de  33  pour  le  questiomiaire  du  recensement  de  1991 
et  un  score  de  31  pour  le  TRN  de  1993. 


Tableau  1 :    R&ultats  des  scores  de  lisibiUtfi  de  la  version  franjaise  et  anglaise* 
Questionnaire  2B  de  1991 


Scores  de  lisibUit^  CBesch)^  par  module, 
demd^e  d^coapage^  (preialer  d^cotipage  ^tre  |)areiit3ifeses) 


Module 


Couveiture 


Caract6ristiques 
d6mographiques 


Langue 


Immigration 


Origine  ethnique 


Limitations 
d'activit6 


Mobility 


Scolarit6 


Travail 


Revenu 


Logement 


SAT 
(Serv.  d'assist.  t^l^phon.) 


Version  fran^aise 


31  (33) 
(difficile) 


41  (40) 
(difficile) 


36(37) 
(difficile) 


27(41) 
(trbs  difficile) 


27  (33) 
(tr^  difficile) 


0(48) 
(tr^  difficile) 


42  (36) 
(difficile) 


0(0) 
(tr^  difficile) 


23(26) 
(tr^  difficile) 


0(0) 
(tr^  difficile) 


43  (52) 
(difficile) 


37(37) 
(difficile) 


Version  anglaise 


54 
(assez  difficile) 

79 
(assez  fecile) 


69 
(standard) 


72 
(assez  facile) 


37 
(difficHe) 


74 
(assez  facile) 


29 
(tr^  difficile) 


58 
(assez  difficile) 


23 
(trfes  difficile) 

..  ■/72.; 
(assez  facile) 


59 
(assez  difficile) 


58 
(assez  difficile) 


3.  Ce  tableau  a  6t6  produit  par  Yves  Th6riault  (annexe  B). 

4.  Les  ratals  du  test  de  facUit6  Flesch  s'^talent  sur  une  &heUe  de  0  k  100.   Plus  le  score  est  bas,  plus  le 
texte  sera  difficile  k  lire. 

5        Le  premier  d&oupage  n'exclut  aucune  partie  du  questionnaire.  I^  deuxifeme  d&oupage  ne  retient  que  les 
■       quiions.  sans  les^t^gories  de  r^ponse.  H  est  identique  au  d&oupage  effectu6  sur  la  version  anglaise 
des  questionnaires. 
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Tableau  2  :    R^sultats  des  scores  de  lisibilit^  de  la  yersion  fran$aise  et  anglaise''^ 
Questionnaire  du  TRN  de  1993 


ll  ■■-■                                         ^     ■            ■■ 

/  _    Scores  de  Usibilit^  CE1esdi)%  par  module, .    ^ 
deiwdfeme  d6coopage^  (pfemiet  d^coupage  entre  patenthfeses)   / 

Module 

Version  fran^aise 

Version  anglaise 

Couverture 

29  (32) 
(tr^  difficile) 

57 
(assez  difficile) 

Caract^ristiques 
d6mographiques 

40  (39) 
(difficile) 

79 
(assez  facile) 

Tongue 

36  (44) 
(difficile) 

64 
(standard) 

Immigration 

21  (38) 
(tirfes  difficile) 

61 
(standard) 

Origine  ethnique 

8 
(ti:6s  difficile) 

31 
(difficile) 

Limitations 
d'activit6 

22(39) 
(trfes  diffidle) 

64 
(standard) 

Mobility 

29  (11) 
(tr^  difficile) 

54 
(assez  difficile) 

Scolarit6 

6(12) 
(tr^  difficile) 

33 
(difficUe) 

Travail 

23  (31) 
{trhs  difficile) 

60 
(standard) 

Revenu 

0  (0) 
(ti-^  difficile) 

28 
(tr^  difficile) 

Logement 

41  (52) 
(difficile) 

68 
(standard) 

6.  Ce  tableau  a  &&  produit  par  Yves  Th6riault  (annexe  B). 

7.  Les  r&ultats  du  test  de  facility  Flesch  s'6talent  sur  une  &helle  de  0  k  100.  Plus  le  score  est  bas,  plus  le 
texte  sera  difficile  k  lire. 

8.  Le  premier  d&oupage  n'exclut  aucime  partie  du  questionnaire.  Le  deuxi&me  d6coupage  ne  retient  que  les 
questions,  sans  les  categories  de  r^ponse.   II  est  id^itique  au  d^coupage  effectu6  sur  la  version  anglaise 
des  questionnaires. 
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En  r6fl6chissant  k  cette  remarque,  il  est  vrai  que  la  langue  frangaise  comporte  plus  de  mots 
par  phrase  que  la  langue  anglaise,   d'une  part  k  cause  des  articles  et  des  pronoms.   D'autre 
part  la  terminaison  de  certains  adverbes  dans  la  langue  ftangaise  augmente  parfois  le  nombre 
de  syllabes  par  mot  (par  exemple,  habituellement).  Certains  mots  en  frangais  sont  plus  longs 
qu'en  anglais  (par  exemple,  recensement  versus  census).  En  outre,  la  difference  du  nombre 
de  mots  par  phrase  devient  plus  6vidente  lorsqu'on  compare  des  textes  de  langue  frangaise 
avecceuxde  langue  anglaise.  En  effet,  g6n6ralement  les  textes  frangais  sont  plus  longs  que 
les  textes  anglais,  n  faut  souUgner  aussi.que  les  mots  les  plus  simples  ne  sont  pas 
n&essairement  toujours  les  plus  courts  et  les  plus  usuels.   En  effet,  selon  Th6nault  la 
longueur  d'un  mot  ne  d6tennine  pas  son  sens.  Un  long  mot  sera  compris  par  tous  s'il  est 
d'usage  courant.  Une  phrase  concise  est  souvent  plus  facile  k  comprendre  qu'une  longue 
phrase.  N&nmoins,  le  sens  d'une  phrase  de  longueur  raisonnable  et  bien  constniite  reste 
facile  k  saisir. 


3.0  Conclusion 

Devons-nous  nous  servir  de  logiciels  pour  tester  la  UsibiUt6  des  questionnaires  du 
recensement?  Comme  nous  I'avons  vu  pr6c6demment,  les  rdponses  k  cette  question  sont 
partagtes  selon  qu'U  s'agit  d'un  logiciel  anglais  ou  d'adaptation  ftangaise.  n  faut  rappeler  ici 
que  les  formules  de  UsibiUt6  (utilises  par  les  logiciels)  ont  6t6  61abor^  depms  I'apr^- 
guerre  par  des  chercheurs  am^ricains  comme  Gunning  ou  Hesch  (Pigallet,  1989).  En 
d'autres  mots,  le  logiciel  frangais  Grammatik  I  n'est  pas  entiferement  adapts  k  la  langue 
ftancaise  puisque  la  formule  utilis6  est  la  mSme  pour  les  deux  versions  des  questionnaires. 
Jusqu'k  present,  la  difference  entre  les  r&ultats  des  tests  de  Usibilit6  de  la  version  ftangaise 
en  comparaison  avec  ceux  de  la  version  anglaise  I'a  bien  d6montr6. 

Ainsi,  pour  les  questionnaires  anglais,  les  logiciels  de  verification  grammaticale  peuvent 
aider  les  speciaUstes  de  sujets  k  determiner  le  niveau  de  langue  d'un  questionnaire  du 
recensement,  k  condition  toutefois  que  ces  specialistes  utiUsent  la  prudence.   Malgre  les 
Umites  que  les  logiciels  comportent,  les  resultats  obtenus  par  Lawrence  et  Noonan  sont 
concluants  k  ce  sujet. 

Pour  ce  qui  est  des  questionnaires  franjais,  I'approche  pourrait  Stre  tout  autre.   En  effet, 
d'une  part,  certains  ouvrages  de  reference  portant  sur  le  mode  d'emploi  de  I'ecnture 
frangaise  mentionnent  I'existence  de  tests  de  UsibiUte  eiabores  par  des  americams,  mais  sans 
jamais  vraiment  les  recommander.  D'autres  ouvrages  quant  k  eux  preftrent  ne  donner  que 
des  conseils  pour  rendre  un  texte  lisible,  en  mettant  I'accent  sur  I'emploi  de  mots  clairs, 
simples,  quotidiens  pour  decrire  des  objets,  des  actions  ou  des  gens  sans  toutefois  eviter  les 
mots  qui  ont  plus  de  deux  syllabes.  D'autre  part,  le  logiciel  Grammatik  I  s'est  avere 
inefficace  pour  tester  le  niveau  de  langue  des  questionnaires  de  langue  frangaise.   Cependant, 
il  ne  faut  pas  exclure  la  possibiHte  d'utiUser  un  logiciel  qui  serait  mieux  adapte  k  la  langue 
fiangaise  que  Grammatik. 
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Maintenant,  que  devons-nous  conclure  k  partir  de  la  remarque  de  Prasil  (1994)  qui 
mentionne  que  «dans  la  region  d'Ottawa,  plusieurs  francophones  auraient  pr6f6r6  remplir  leur 
questionnaire  en  anglais  pour  6viter  une  «mauvaise  traduction*  et  des  «gros  mots»  et  pour 
aller  plus  vite>»?  Meme  si  ce  cas  semble  etre  isol6,  il  nous  fait  prendre  conscience  du  fait 
qu'il  faut  accorder  une  attention  particulifere  aux  questions  traduites;  celles-ci  ne  doivent  pas 
feti-e  mises  de  c6t6  mais  plutdt  faire  I'objet  d'un  conti-dle.  Finalement,  ajoutons  k  ceci  que 
Morin  (1994),  lors  des  observations  des  Etudes  qualitatives  faites  k  Montreal,  a  observ6  quant 
k  iui  que  la  formulation  en  frangais  de  la  question  sur  le  logement,  en  particulier,  6tait 
beaucoup  plus  complexe  qu'en  anglais. 


4.0  Recommandatioiis 

Pour  atteindre  notre  objectif  qui,  rappelons-le  est  de  pr6parer  un  questionnaire  pouyant 
6tre  compris  et  rempli  par  Tensemble  de  la  population  ayant  au  moins  une  8*  ann6e  de 
'  scolarit^,  nous  avons  6nonc6  ci-dessous  certaines  recommandations  k  observer  pour  le 
recensement  de  2001. 

►  Pour  les  questionnaires  anglais,  nous  recommandons  que  les  sp^ialistes  de  sujet 
utilisent  les  logiciels  de  verification  grammaticale  comme  indicateurs  de  niveau  de 
langue.  Les  tests  de  lisibilit6  ont  6t6  congus  pour  etre  utilis&s  comme  un  guide  de 
reference  et  non  comme  une  mesure  absolue.  n  est  done  laiss6  k  la  discretion  de 
I'utilisateur  de  determiner  si  le  test  est  valable  ou  non.  Les  spedalistes  de  sujet  devront 
effectuer  les  corrections  n&essaires  pour  modifier  leur  question,  dans  la  mesure  du 
possible,  afin  d'atteindre  I'objectif  ci-haut  mentionnd. 

►  Pour  les  questionnaires  frangais,  il  faudrait  mettire  sur  pied  un  comit6  qui  sera 
responsable  de  trouver  un  logiciel  et  une  fonction  de  lisibilite  qui  serait  mieux  adapt6e  k 
la  langue  frangaise  que  Grammatik  I.  Au  cas  ou  cette  option  s'avererait  infructueuse, 
les  questionnaires  frangais  devraient  faire  I'objet  de  revisions  k  partir  d'entrevues  et  de 
discussions  dirigees. 

►  En  ce  moment,  il  existe  sur  le  march6  anglophone  un  plus  grand  choix  de  logiciels  de 
verification  grammaticale  ayant  la  fonction  de  lisibilite  que  sur  le  marche  francophone. 
Compares  les  uns  aux  autres,  ces  logiciels  donnent  des  indices  de  lisibilite  differents. 
De  plus,  les  resultats  d'une  mSme  fonction  de  lisibilite  peuvent  varier  d'un  logiciel  k  un 
autre.   Pour  que  chaque  specialiste  de  sujet  respecte  une  certaine  forme  d'uniformite 
pour  determiner  le  niveau  de  langue  d'un  questionnaire,   un  comite  de  travail  devrait 
dtre  mis  sur  pied  afin  de  recommander  le  logiciel  le  plus  approprie  k  un  questionnaire  de 
recensement. 

►  Pour  que  ces  recommandations  soient  efficaces,  il  faudrait  que  les  specialistes  de  sujet 
se  mettent  k  la  tSche  dhs  que  possible,  afin  que  les  questionnaires  satisfassent  aux 
exigences  gouvemementales  avant  de  faire  I'objet  d'un  test  de  recensement  national. 
Les  specialistes  de  sujet  ne  devraient  pas  oublier,  par  la  mSme  occasion,  de  reviser  les 
traductions  afin  d'eviter  qu'elles  soient  integrales,  soit  mot  k  mot. 
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Grammatical  Review  of  the  1991  Census  2B  and 
the  1993  National  Census  Test  Questionnaires 


1.     Background 

The  Questionnaire  Design  Resource  Centre  recently  completed  a  grammatical  review  of  the 
1991  Census  2B  and  the  1993  National  Census  Test  questionnaires.  The  exercise  used 
RightWriter  and  Grammatik  IV  to  analyze  the  documents.  The  review  involved  creating 
WordPerfect  files,  analyzing  the  questionnaires  with  the  packages,  and  compiling  and 
examining  the  diagnostic  reports. 

RightWriter  and  Grammatik  produce  sunimary  reports  in  the  form  of  messages  and 
readability  scores.   These  scores  are  one  measure  of  how  effectively  a  piece  of  writing 
communicates.  The  programs  point  out  possible  errors  and  stylistic  weaknesses,  and  suggest 
alternatives  for  the  user  to  consider. 

The  readability  scores  for  both  packages  are  calculated  based  on  formulas  that  combine  the 
average  number  of  words  per  sentence  and  the  average  number  of  syllables  per  word  with 
pre-determined  constants.   Grammatik  IV  calculates  three  indicators: 


► 


► 


Gunning's  Fog  Index  is  a  measure  of  the  approximate  grade  level  a  reader  must  have 
achieved  to  easily  read  and  comprehend  the  document; 

the  Flesh-Kincaid  Grade  Level  is  another  grade  level  measure  (a  score  between  the  8th 
and  10th  grade  is  considered  most  effective); 

►      the  Flesh  Reading  Ease  Score  is  a  scale  between  0  and  100.  The  lower  the  score,  the 
more  difficult  the  writing  is  to  read.  The  formulae  for  these  indicators  are  shown  on 
page  18. 

RightWriter  uses  three  formulas  to  compute  the  composite  "Readability  Index"  (Flesch- 
Kincaid,  Flesch,  and  Gunning's  Fog  Index).  The  Readability  Index  is  a  measure  of  how 
easy  or  difficult  it  is  to  read  the  document  based  on  the  level  of  education  needed  by  a  reader 
to  understand  it.  The  Readability  Index  score  ranges  firom  a  low  of  1.0  (the  first  grade  level) 
to  a  high  of  50.0  (totally  unreadable). 


2.     Limitations 

Like  all  indicators,  the  readability  scores  should  be  used  with  caution.   They  are  meant  to  be 
used  as  guides,  not  as  absolute  measures.   Grammar-checkers  are  not  the  same  as  a  human 
editor;  they  do  not  understand  the  actual  meanings  of  words  or  the  exercise  of  literary 
license.  The  programs  work  by  applying  rules  that  deal  with  the  syntax  or  structure  of 
writing.  In  some  cases,  they  point  out  correct  or  "allowable"  phrases  as  errors.  It  is  up  to 
the  user  to  decide  which  recommendations  to  follow. 
For  example,  RightWriter  points  out  words  and  phrases  that  can  be  replaced  by  simpler, 
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more  common  words  with  the  same  meaning.  This  does  not  mean  that  aU  words  havmg 
simpler  synonyms  should  be  changed.  Different  words  are. appropriate  for  different  contexts. 
The  programs  also  point  out  all  occurrences  of  the  passive  voice.  Again,  this  does  not  mean 
the  passive  voice  is  always  inappropriate.  The  passive  voice  is  likely  a  more  common 
occurrence  in  the  context  of  a  questionnaire. 

It  should  be  noted  that  the  two  packages  may  be  Umited  in  their  abiUty  to  analyze  text  in  the 
form  of  a  questionnaire:   "...  Rightwriter  is  primarily  intended  as  an  aid  for  business  and 
technical  writing."  The  packages  are  not  designed  to  deal  with  streams  of  questions  that  are 
often  unsupported  by  accompanying  text  and  are  not  in  paragraph  form. 

Even  though  the  programs  have  Umitations,  they  do  alert  the  user  to  potential  problem  areas 
and  possible  sources  of  difficulty  for  respondents. 

3.     Results 

The  Rightwriter  and  Grammatik  packages  perform  document  analysis  based  on  a  writing 
style  selected  by  the  user  from  an  options  menu.  The  Census  questionnaires  were  analyzed 
using  the  rules  for  writing  at  tiie  general  public  education  level.  The  resulting  readabihty 
scores  and  brief  descriptions  of  tiiese  indicators  are  shown  in  the  tables  m  Appendix  A. 

The  questionnaires  were  first  submitted  to  an  analysis  by  RightWriter.   According  to  tiiis 
index,  respondents  would  require  a  9tii  grade  level  of  education  for  botii  documents  («x)res 
of  8  70  and  8  94).  The  program  identified  a  number  of  problems  related  to  tiie  use  of  the 
passive  voice,  long  sentence  strucUire,  and  the  use  of  uncommon  words.  It  is  important  to 
understand  tiiat  tiie  comments  generated  by  tiie  program  writing  are  based  on  tiie  criteria       , 
specified  for  various  indicators.  For  example,  tiie  program  recommends  a  greater  use  of  tiie 
active  voice  rattier  tiian  ttie  passive  voice.   An  example  would  be,  "Your  answers  will  be 
kept  strictiy  confidential"  (Passive)  vs.  "Statistics  Canada  will  keep  your  answers  stnctiy 
confidential"  (Active).  The  use  of  tiie  active  voice  is  difficult  given  tiie  "instiiictional   or^ 
"directional"  natiire  of  tiie  text  in  questionnaires.  Sentence.lengtii  may  be. misrepresented  by 
Rightwriter  because  colons,  semi-colons,  hyphens  and  bullets  are  not  considered  breaks  in 
sentences.  For  example.  Step  5,  of  tiie  1991  2B  questiomiaire,  tiie  following  is  considered  as 
one  continuous  sentence: 

"Be  sure  to  include: 

.  children,  relatives,  room-mates,  boarders  and  live-in  employees; 

.  anyone  temporarily  away  on  June  4.  including  students  away  at  school,  or 

a  husband,  wife  or  others  working  away  from  home; 
•  anyone  who  stayed  here  overnight  between  June  3  and  June  4,  who  has  no 

usual  home  somewhere  else;  r     u         ^ 

'  anyone  who  is  now  in  an  institution,  such  as  a  hospital,  a  home  for  the  aged 

or  a  prison,  but  only  if  that  person  was  admitted  after  December  4,  1990. " 
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Another  difficulty  is  that  questionnaires  often  use  directional  statements  with  no  punctuation 
such  as:  'Mark  all  that  apply'  or  'Mark  one  only'.  These  statements  are  not  interpreted  as 
complete  sentences. 

In  some  cases  RightWriter  suggested  that  "simpler"  words  be  used  (e.g.,  'Use  the  box 
provided  to  indicate'  vs.  'Use  the  box  provided  to  show'  or  'Is  this  person  mrrmly  living 
with  a  common-law  partner?'  vs.  'Is  this  person  mw  living... "). 

Grammatik  suggested  that  the  Flesh-Kincaid  grade  level  was  7  for  the  2B  questionnaire  and 
grade  8  for  the  1993  document.  The  Gunning  Fog  Index  calculated  that  a  grade  11  education 
was  required  for  both.  The  two  indicators  differ  slightly  because  they  are  based  on  two 
different  readability  formulas. 

Grammatik  also  calculates  the  Flesch  Reading  Ease  Score.  This  measure  indicated  that  the 
reading  difficulty  of  the  1991  questionnaire  was  "Standard"  (i.e.,  requires  a  7th  or  8th  grade 
education),  while  the  reading  difficulty  of  the  1993  questionnaire  was  slightly  higher:  "Fairly 
Difficult"  (i.e.,  requires  some  high  school). 


4.     Results  by  Module 

An  analysis  of  reading  levels  was  carried  out  on  the  individual  modules  of  each 
questionnaire.  This  review  was  conducted  to  determine  if  there  were  significant  differences 
in  the  scores  among  modules.  It  is  interesting  to  note  that  both  RightWriter  and  Grammatik 
reported  wide  ranges  in  grade  levels.  For  both  documents,  the  programs  suggested  that 
significantly  higher  education  levels  are  required  to  easily  read  and  comprehend  modules 
such  as  Education,  Income,  and  Ethnic  Origin. 

These  scores  may  be  good  general  indicators  of  the  difficulty  of  the  text;  however,  there 
may  be  certain  cases  where  the  text  contains  a  high  number  of  syllables,  but  may  be 
understood  by  most  respondents.  For  example,  in  the  Education  module,  a  term  like 
"postsecondary  educational  institutions"  that  contains  14  syllables,  will  influence  the 
magnitude  of  the  readability  scores. 

When  interpreting  the  results  of  the  grammar  checking  programs,  another  important  point  to 
remember  is  that  questionnaires  often  use  lists  of  examples  to  clarify  response  options. 
These  lists  may  be  extensive  and  include  a  number  of  complex  terms  that  influence  the 
overall  readability  scores.  The  respondent  only  looks  for  familiar  terms  tiiat  apply  to  his/her 
particular  situation.  For  example,  in  the  Ancestry  module  of  the  1993  National  Census  Test 
Questionnaire,  long  lists  of  ethnic  origins  are  used  (from  English  to  Portuguese,  Haitian, 
Jamaican).  Examples  like  tiiis  are  interpreted  as  long,  multi-syllabic  sentences  that  will 
affect  readability  scores.   However,  in  terms  of  the  response  process,  a  respondent  will 
simply  skim  the  examples  to  find  what  applies  to  him/her. 


-  17 


In  the  Income  module,  a  number  of  tenns  are  used  to  define  response  categories  and  clarify 
what  is  to  be  "included"  and  "excluded"  in  responses.  For  example  terms  such  as   Famly 
Allowances  and  Child  Tax  Credits",  'Guaranteed  Income  Supplement",  etc.  may  result  m 
higher  readability  scores  but  are  proper  names  for  programs  or  policies  with  which  many 
reiondents  are  femiliar.  Appendix  B  contains  tables  with  the  readabiUty  scores  for  the  two 
questionnaires  by  module. 

The  1991  2B  questionnaire  was  also  appUed  to  a  third  grammar  checking  package  (Correct 
Grammar)  by  the  Vancouver  Regional  Office.  Correct  Grammar  also  produces  the  Flesh- 
Kincaid  Grade  Level  and  the  Gunning  Fog  Index.  The  results  from  this  package  are 
summarized  in  Appendix  C. 


5.     Conclusion 

The  grammar-checking  programs  used  in  this  review  are  tools  to  help  the  user  write.  Like 
anv  tool  the  programs  have  Umitations.  The  programs  do  not  identify  all  types  of  e^ors. 
In  some  cases  they  indicate  "allowable"  phrases  as  errors.  The  readability  sabres  and 
diagnostic  messages  can  help  the  user  identify  potential  sources  of  difficulty  for  respondents, 
but  tiie  scores  should  be  used  as  measures  for  assistance,  not  as  absolute  measures. 


FORMULAS: 

1  ■  Flesh-KJP^^id  Grade  Level 

Total  =  (0.39)  X  (average  #  of  words  per  sentence)  +  (11.8)  x  (average  if  of  syllables  per  word) 

Grade  Level  =  Total  -  15.59 

2.  Flesh  Reading  Ease 

Total  =  (1.015)  X  (average  sentence  length)  +  (0.846)  x  (#  of  syllables  per  100  words)    ,. 

Flesh  Reading  Ease  Score  =  206.835  -  Total 
Grade  Level  =  Total  -  15.59 

3.  Gunning's  Fog  Index 

Total  =  (average  #  of  words  per  sentence)  +  (#  of  words  of  3  syllables  or  more) 

Fog  Index  =  0.4  x  Total 
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APPENDIX  A 


READABILITY  SCORES 
1991  CENSUS  2B  QUESTIONNAIRE  -  RIGHTWRITER 


.  ^Measure^ 

.^  SCKfitt  ^  \ 

[                      \     Ej^IattatioA  of  score 

Readability 
Index 

8.70 

-  indicates  the  level  of  education  a  reader  will  need  to 
xinderstand  the  document. 

-  ranges  from  1.0  (first  grade  level)  to  50.0  (totally 
unreadable). 

1991  CENSUS  2B  QUESTIONNAIRE  -  GRAMMATIK  IV 


Measure 

Score 

Explanatioa  of  sc(Kre 

Flesch  Reading 
Ease  Score 

62 

-  the  lower  the  score,  the  more  difficult  the  writing  is  to 
read.   Scores  range  from  0-100  (60-70  =  standard,  7th/8th 
grade  level). 

Gunning  Fog 
Index 

11 

-   a  measure  of  the  approximate  grade. level  a  reader  must 
have  achieved  to  easily  read  and  comprehend  the  document.   || 

■  Fiesch-Kincaid 
Grade  Level 

7 

-   a  grade  level  between  8th  to  10th  grade  is  considered  most 
effective. 

1993  NATIONAL  CENSUS  TEST  QUESTIONNAIRE 


GRAMMATIK  IV 


RIGHTWRITER 


.Measure 

Score 

Flesch  Readmg 
Ease  Score 

58 

Gunmng  Fog 
Index 

11 

Fiesch-Kincaid  Grade 
Level 

8 

Measure 

Score 

Readability 
Index 

8.94 
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APPENDIX  B 
1993  NATIONAL  CENSUS  TEST  QUESTIONNAIRE 

READABILITY  SCORES  BY  MODULE 
RightWriter ' 


Modiil^ 


Coverage 


Demographics 


Language 


Immigration 


Ancestiy 


Disability 


Mobility 


Education 


Work 


Income 


Dwelling 


Readability  iAdes 


8.73 


8.75 


6.95 


9.34 


15.12 


8.77 


9.58 


11.91 


8.30 


14.47 


6.61 


Evaluation 


4.10 


Granimatik  IV 

Module 

Fiesdt  reading  * 
«a$e 

Gunnlng^sfog 
todeat 

¥1e^-ldncaid 
grade  letd 

Coverage 

57  (Fairly  Difficult) 

11 

8 

Demographics 

79  (Fairly  Easy) 

7 

,.    4 

Language 

64  (Standard) 

9 

8 

Immigration 

61  (Standard) 

12 

9 

Ancestry 

31  (Difficult) 

17 

14 

Disability 

64  (Standard) 

10 

7 

Mobility 

54  (Fairly  Difficult) 

9 

9 

Education 

33  (Difficult) 

15 

12 

Work 

60  (Standard) 

11 

8 

Income 

28  (Very  Difficult) 

20 

17 

Dwelling 

68  (Standard) 

7 

6 

Evaluation 

77  (Fairly  Easy) 

9 

5 
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APPENDIXC 


1991  Census  2B  Questionnaire 


Module 

\   HeadabmV 

flesh-ldncaid  grade 
X -level     '" 

Oiinning  Jfog  index 

^gjbtwit<a* 

Grammatik 
TV 

Coftfect 
<3raiiunar 

<5ramn^a?Uk 

Correct 
4Gfranimar 

Coverage 

7.69 

10 

6.0 

13 

8.1 

Demographics 

6.70 

5 

6 

7 

6.8 

Language 

6.39 

7 

7.1 

8 

8.2 

Immigration 

6.97 

6 

N/A 

8 

N/A 

Ethnic  Origin 

12.93 

13 

N/A 

18 

N/A 

Disability 

9.99 

9 

11.7 

11 

13.8 

Fertility 

N/A 

N/A 

4.3 

N/A 

5.7 

Mobility 

6.74 

6 

6.9 

8 

6.7 

Education 

13.24 

14 

13.5 

17 

15 

Work 

7.86 

9 

7.7 

12 

10.2 

Income 

14.47 

19 

11.6 

22 

11.2 

Dwelling 

6.39 

6 

6.2 

8 

7.6 

Telephone 
Ass.  Service 

10.60 

10 

6.4 

14 

6.8 
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APPENDIX  C  (Concluded) 
1991  Census  2B  Questionnaire 


Module 

Besh  readini 

;  ease  score 

—  ^  ^( 

Cwred^ 

CovM-age 

54  (Fairly  difficult) 

68.1  (Easy) 

Demographics 

79  (Fairly  easy) 

68.3  (Easy) 

Language 

69  (Standard) 

65.7  (Fjurly  easy) 

II  Immigration 

72  (Fairly  easy) 

N/A 

Ethnic  Origin 

37  (Difficult) 

N/A 



Disability 

58  (Fairly  difficult) 

41.7  (Fairly  difficult) 

Fertility 

N/A 

78.8  (Easy) 

Mobility 

74  (Fairly  easy) 

67.7  (Easy) 

Education 

29  (Very  difficult) 

27.9  (Very  difficult) 

Work 

58  (Fairly  difficult) 

62.1  (Fairly  easy) 

Income 

23  (Very  difficult) 

35.3  (Very  difficult) 

Dwellmg 

72  (Fairly  easy) 

69.5  (Easy) 

Telq)hone  Ass. 
Service 

59  (Fairly  difficult) 

66.5  (F.asy) 

1 

N/A:  Module  not  analyzed 


LEGEND;  Flesh  Reading  Ease  scores  (Grammatik  IV  User's  Guide,  1989) 

Approximate  Grade 
4th  Grade 
5th  Grade 
6th  Grade 
7th-8th  Grade 
Some  High  School 
High  School-College 
College  Level  and  up 


Score 

Reading  Difficulty 

90-100 

Very  Easy 

80-90 

Easy 

70-80 

Fairly  Easy 

60-70 

Standard 

50-60 

Fairly  Difficult 

30-50 

Difficult 

0-30 

Very  Difficult 

Annexe  B 

Test  de  lisibilit^  du  questionnaire  2B  de  1991  et  du 

questionnaire  du  Test  du  recensement  national  de  1993 

par  Yves  Tli6riault 

(version  fran^aise) 
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Test  de  lisibilite  du  questionnaire  2B  de  1991 
et  du  questionnaire  du  Test  du  recensement  national  de  1993 


1.  Contexte 

Le  test  de  lisibilite  du  questionnaire  2B  de  1991  et  du  questionnaire  du  Test  du  recensement 
national  (TRN)  de  1993  a  6t&  effectu6  k  I'aide  du  logiciel  Grammatik  I  (version  frangaise).  II 
s'inscrit  dans  le  cadre  des  travaux  du  Groupe  de  travail  sur  le  frangais  dans  le  questionnaire 
et  le  Guide  du  recensement  de  1996.  n  donne  suite  k  un  test  semblable  ayant  port6  sur  la 
version  anglaise  de  ces  m6mes  questionnaires*. 

2.  M^thodologie 

Les  statistiques  de  lisibilit6  du  logiciel  Grammatik  sont  d6termin&s  d'apr^  la  formule  de 
lisibilit6  Flesch  qui  s'^nonce  comme  suit : 

1,015  X  (longueur  moyenne  des  phrases) 
+  0,846  X  (nombre  de  syllabes  par  100  mots) 
206,835  -  Total  =  Score  de  facility  de  lecture  Flesch 

Cette  m6me  formule  a  aussi  6t&  appliqu6e  k  la  version  anglaise  des  questionnaires  (voir  les 
r6sultats  comparatifs  aux  appendices  C  et  D.). 

Les  r6sultats  du  test  de  lisibilit6  Flesch  s'6talent  sur  une  6chelle  de  0  k  100.  Plus  le  score  est 
bas,  plus  le  texte  est  cens6  6tre  difficile  Jl  lire.  Ce  tableau  donne  des  valeurs  approximatives 
pour  rinterpr6tation  du  score. 


Score 

Degrg  de  lisibilite 

90-100 

Tr^  facile 

80-90 

Facile 

70-80 

Assez  facile 

60-70 

Standard 

50-60 

Assez  difficile 

30-50 

Difficile 

0-30 

Trhs  difficile 

Voir  le  document  intitule  Grammatical  Review  of  the  1991  Census-IB  and  the  1993  National  Census 
Test  Questionnaires,  par  Dave  Lawrence  et  Mike  Noonan. 
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Les  questionnaires  ont  6t6  d6coup6s  deux  fois  en  modules  et  chaque  module  a  6t6  test6 
s6par6ment.   Le  premier  d&oupage  n'exclut  aucune  partie  du  questionnaire.   Le  deuxi^me 
d6coupage  ne  retient  que  les  questions,  sans  les  categories  de  r^ponse.   n  est  identique  au 
d^coupage  effectu6  sur  la  version  anglaise  des  questionnaires  et  permet  done  la  comparaison 
des  r&ultats  dans  les  deux  langues.  Les  r^ultats  du  premier  d6coupage  sont  pr6sent&  aux 
appendices  A  (questionnaire  2B)  et  B  (questionnaire  du  TRN).   Ceux  du  deuxifeme  d6coupage 
se  retrouvent  aux  appendices  C  (questionnaire  2B)  et  D  (questionnaire  du  TRN)  sous  la 
forme  de  tableaux  comparatifs. 


3.    Limites 

La  version  fran?aise  de  Grammatik  appelle  les  mtmes  reserves  que  la  version  anglaise.  Le 
score  obtenu  au  test  de  UsibiUt^  Flesch  depend  uniquement  du  nombre  moyen  de  mots  par 
phrase  et  du  nombre  moyen  de  syUabes  par  mot.  Par  cons6quent,  un  mot  simple  sera  jug6 
difficile  k  comprendre  s'il  est  long,  et  un  mot  scientifique  peu  connu  sera  jug6  facile  h. 
comprendre  s'il  est  court.   Cela  m'apparait  comme  une  lacune  importante  et  expUque  sans 
doute  les  scores  trhs  bas  obtenus  en  firan^ais. 

Le  logiciel  relive  les  probl^mes  d'6criture  en  fonction  de  certains  param^ti-es  de  correction. 
Les  paramfeti-es  standard  de  Grammatik  ont  6t6  retenus  pour  I'essai  (en  anglais  comme  en 
frangais)  Les  problfemes  d6tect6s  n'ont  toutefois  aucune  incidence  sur  le  score  de  Usibilit6. 
Par  exemple,  la  question  18  (Umitations  d'activit6)  a  6t6  jug6e  tihs  difficile  (score  0)  meme  si 
aucun  problfeme  n'a  6t6  d6tect6.  Ajoutons  que  les  problfemes  ne  sont  pas  pertinents  la  plupart 
du  temps.   En  voici  une  liste  partielle  : 

NORMALEMENfT,  UN  PARAGRAPHE  COMPORTE  PLUS  D'UNE  PHRASE. 
EVTTEZ  *RETOURNER*  AU  SENS  DE  'RENVOYER*  DANS  LA  LANGUE 

SOUTENUE.  .         ^.„^^^^ 

CETTE  PHRASE  NE  CONTIENT  PAS  DE  VERBE  CONJUGUE.  AJOUTEZ-LE. 

METTEZ  EN  MAJUSCULE  LE  PREMIER  MOT  DE  LA  PHRASE. 

POINTS  DE  SUSPENSION  IRREGULIERS  DETECTES.  EN  FRANgAIS  LA 

PONCTUATION  SERATT  "..." 

V^RIFIEZ  SI  VOUS  NE  CONFONDEZ  PAS  *OU*  ET  «0U« 


4.    Interpretation  des  rdsultats 

Les  tableaux  aux  appendices  A,  B  et  C  montirent  des  scores  trhs  bas  en  frangais,  compris  le 
plus  souvent  entre  0  -  30  (ti-^  difficile)  et  30  -  50  (difficUe).  Les  scores  sont  mieux  r6partis 
en  anglais,  allant  de  23  (tr^  difficile)  k  79  (assez  facile).  Les  modules  de  la  scolant6  et  du 
revenu  ont  6t6  jug6s  tr^  difficiles  en  anglais  comme  en  frangais. 

Les  r6sultats  ne  sont  gu^re  concluants,  en  frangais  du  moins,  pour  les  raisons  6noncfes  k  la 
section  3  (Limites).  n  suffit  pour  s'en  convaincre  de  se  livrer  k  un  petit  exercice.  Prenons, 
par  exemple,  la  question  18  du  questionnaire  2B. 
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18.   Cette  personne  est-elle  limit^e  dans  ses  activit^s  a  cause  d'une  incapacity 
physique,  d'une  incapacit6  mentale  ou  d'un  probl^me  de  sant6  chronique: 

Facility  de  lecture  :  0 

Moyenne  mots/phrase  :         22,0  mots 
Moyenne  syllabes/mot :        2,45  syllabes 

Essayons  k  pr&ent  de  modifier  cette  phrase  pour  remonter  un  peu  notre  score. 

18.   Cette  personne  est-elle  limits  dans  ses  activity  k  cause  d'une  incapacity  ou  d'un 
problfeme  de  sant6  : 


Facility  de  lecture  :  6 

Moyenne  mots/phrase  :         17,0  mots 
Moyenne  syllabes/mot :        2,17  syllabes 

n  a  done  suffit  de  raccourcir  la  phrase  pour  obtenir  un  meilleur  score.   Essayons  encore. 

18.   Cette  personne  est-elle  limits  dans  ses  activity  k  cause  d'un  probl^me  de  sant6 
chronique: 

Facility  de  lecture  :  17 

Moyenne  mots/phrase  :         15,0  mots 
Moyenne  syllabes/mot :        2,6  syllabes 

Le  nombre  de  mots  par  phrase  n'est  pas  le  seul  param&tre,   H  y  a  aussi  le  nombre  de  syllabes 
par  mot.  Ce  dernier  paramfetre  semble  k  I'origine  de  notre  meilleur  score,  soit  celui  de  la 
question  1  du  questionnaire  2B. 

1.     NOM 

Assurez-vous  de  transcrire  les  noms  dans  le  meme  ordre  que  celui  de  la  liste  dress6e  k 
l'6tape  5. 

Facility  de  lecture  :  55 

Moyenne  mots/phrase  :        20,0  mots 
Moyenne  syllabes/mot :         1,55  syllabe 

La  longueur  d'un  mot  ne  determine  pas  son  sens.   Un  long  mot  sera  compris  par  tous  s'il  est 
d'usage  courant.   Une  phrase  concise  est  souvent  plus  facile  k  comprendre  qu'une  longue 
phrase.  N6anmoins,  le  sens  d'une  longue  phrase  bien  construite  reste  facile  k  saisir. 
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Conclusion 


Le  test  n'est  guhre  concluant.  Les  questionnaires  frangais  ne  sont  pas  n6cessairement  plus 
difficiles  k  comprendre  que  les  questionnaires  anglais,   n  component  simplement  plus  de 
mots  par  phrase  et  plus  de  syllabes  par  mot.  Mais  n'est-ce  pas  ^  le  propre  du  frangais? 
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APPKNDICEA 

:           t.     Scbrt$4fe,H^mt6<lifefa)*parnii,dul0,preitii«rd6c^)upage.                   || 

Module 

Score    . 

Introduction 

(CONFIDENTIEL  UNE  FOIS  REMPLI ... 
Les  num6ros  k  composer  figurent  k  la 
page  28.) 

39 
(difficile) 

Couverture 

(l^TAPE  3  ... 

Un  recenseur  communiquera  avec 
vous.) 

33 
(difficile) 

Caract^ristiques 
d6mogniphiques 

(1.  NOM  ... 

un  partenaire  en  union  libre? 

25  Oui 

26  Non) 

40 
(difficile) 

Langue 

(LANGUE 

7.    Cettepersonne  ... 

indiquez  la  seconde  langue  qu'elle  a 
apprise. 

12  Anglais 

13  Frangais 

Autire  —  Pr6cisez) 

37 
(difficile) 

Naissance 

(LIEU  DE  NAISSANCE 

32    Pologne 

Autre  —  Pr6cisez) 

82 
(facile) 

Citoyennet6 

(CrrOYENNETE 

12.  De  quel  pays  ... 
04    D'un  autre  pays) 

45 
(difficile) 

*  Le  premier  d6coupage  n'exclut  aucune  partie  du  questionnaire. 
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APPENDICE  A 


QtIEStl03SNAIRE  21B  BE  1991 
ScurtS  de  liabmtfi  (Blesch),  par  module^  prtsoder  d6coa]|^e 


Module 


Immigration 


Origine  ethnique 


Religion 


Limitations 
d'activit6 


Mobility 


Scolarit6 


B^onpage 


(IMMIGRATION 

13.  Cette  personne  ... 

donnez  la  meilleure  estimation. 

07    Ann6e)  


(ORIGINE  ETHNIQUE 

15.  A  quel(s)  groupe(s)  ... 

Pr6cisez  la  bande  indienne  ou  premiere 
nation  (par  exemple,  Musqueam) 


(RELIGION 

17,  Quelle  est ... 

02    Aucune  religion) 


(LIMITATIONS  D'ACnVITfi 

18.  Cette  personne  ... 
figfe  de  15  ans  et  plus.) 


(MOBILITY 

20.  Ou  cette  personne  ... 

Ne  comptez  pas  les  mort-n6s. 

08  Aucun 
OU 

09  Nombre  d'enfants)  


(SCOLARTTE 

24.  Jusqu'en  quelle  ann6e  ... 
02 

Le  plus  haut  dipl6me  de  cette  personne 
est  un  certificat  d'6tudes  secondaires.) 


Score 


41 
(difficile) 


33 
(difficile) 


0 
(tr^  difficUe) 


48 
(difficile) 


36 
(difficile) 


0 
(tr^  difficile) 


*  Le  premier  d^coupage  n'exclut  aucune  partie  du  questionnaire. 
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APPENDICE  A 


QtJESTIONNAiRE  ZB  BE  19P1 
^COre$  ae  li$Sbffit6  (Flesch),  gar  modgle^  premier  d6coup$ge 


Module 


Travail 


Revenu 


Logement 


SAT 


B^conpage 


(TRAVAIL 

30.  La  semaine  demifere  ... 
10    A  temps  partiel 

(moins  de  30  heures  par  semaine)) 


(REVE^fU  EN  1990 

45.  Au  cours  de  rami6e  ... 

k)     REVENU  TOTAL  provenant  de 
toutes  les  sources  pr6c6dentes 


24     Oui 
26     Non 


25   Perte) 


(6TAPE  11 

R6pondez  aux  questions  HI  ... 

f)     Quels  sont  les  frais  mensuels  de 
condominium? 

22  Aucun 
OU 

23  Dollars     Cents  par  mois) 


ETAPE  12 

Vous  avez  maintenant  rempli 
OBSERVATIONS 


No  de  FRP: 

SQC/P-PU-005 

SQC/OPR-015-03789) 


Score 


26 
(trfes  difficile) 


0 

(tr^s  difficile) 


52 
(assez  difficile) 


37 
(difficile) 


*  Le  premier  d&oupage  n'exclut  aucune  partie  du  questionnaire. 
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APPENDICE  B 


$c6re$  de  IMbillt^  (Elesch)^  p»r  module^  premifer  q^opgage*. 


MOBXJLE 


Introduction 


Couverture 


Caract6ristiques 
d6mographiques 


Limitations 
d'activit6 


DllCOXJPAGE 


(R6serv6  au  bureau  .. 
No  de  t616phone) 


(Nota:  Pour  all6ger  le  contenu  ... 

Statistique  Canada  communiquera  avec 
vous)  


(PERSONNEl 
Nom  de  famille 
Pr6nom 

1.    NOM 


PERSONNE  2 
Nom  de  famille 
Pr6nom 


Assurez-vous  de  transcrire  ... 

16galement  mari^  Tune  k  I'autire. 

1  Oui 

2  Non) 


(LIMITATIONS  D'ACTIVITE 

7.    Cettepersonne  ... 

handicaps  de  longue  dur6e? 

8  Oui 

9  Non) 


3CORE 


34 
(difficile) 


32 
(difficile) 


39 
(difficile) 


39 
(difficile) 


*  Le  premier  d6coupage  n'exclut  aucune  partie  du  questionnaire. 
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APPENDICE  B 


MOBTSLE 


Langue 


Renseignements 
socio-culturels 


Mobility 


Scolarit6 


DlfeOXIPAGE 


(LANGUE 

9.    Quelle(s)  langue(s)  ... 

indiquez  la  seconde  langue  qu'elle  a 
apprise. 

7  Anglais 

8  Frangais 
Autre  —  Pr6cisez 

9)  


(RENSEIGNEMENTS 
SOCIO-CULTURELS 

12.  Oil  cette  personne  est-elle  n6e?  ... 

6TAPE  9 

R^ndez  aux  questions  21  k  46  pour 
chaque  personne  Sg6e  de  15  ans  et 
plus.) 


(MOBILITE 

21.  Oil  cette  personne  habitait-elle  ... 
5      Habitait  en  dehors  du  Canada 

Inscrivez  en  lettres  moul^es  le  nom  du 
pays) 


(SCOLARTTE 

23.  Depuis  les  deux  demiers  mois  ... 
10    Doctorat  acquis  (p.  ex.,  Ph.D., 
D.Sc,  D.Ed.)) 


SCORE 


44 
(difficUe) 


38 
(diffidle) 


11 
(tr^  difficUe) 


12 
(tr6s  difficile) 


*  Le  premier  d6coupage  n'exclut  aucune  partie  du  questionnaire. 
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APPENDICES 


QUESTlOmAiRE  Dtf  TRN  DE  t99$ 
Scor€$  de  MbiUti^  (Flejich)^  par  mpdiriej,  jpremief  d^oupage* 


MODULE 


Travail 


Revenu 


Logement 


Conclusion 


lytCOUPAGEr 


(Acnvnts  A  la  maison, 

BENEVOLAT  ET  ... 
3      A  temps  partiel  (moins  de  30 
heures    par  semaine))  


(REVENU  EN  1992 

46.  Au  cours  de  Vaim6&  ... 
k)     REVENU  TOTAL 

PROVENANT  DE  TOUTES 
LES  SOURCES  PRECEDENTES 

1  Oui 

2  Non 

3  Oui 


Perte 


(R6pondez  aux  questions  47  et  48  portant 
sur  le  logement.  ... 
8      Une  personne  qui  ne  vit  pas  ici) 


(ETAPE  10 

Vous  avez  maintenant .. 
OBSERVATIONS) 


SCORE 


31 
(difficile) 


0 
(tr&s  difficile) 


54 
(assez  difficile) 


44 
(difficile) 


*  Le  premier  d&oupage  n'exclut  aucune  partie  du  questionnaire. 
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APPENDICE  C 
QUESTIONNAIRE  2B  DE  1991 


1                                  Scores  deMbiUt^OPlesch),  par  module, 

deivd^me  d^oupage** 

-          - (prenwer  a^iipag«  ^tre  parentheses) 

MODULE 

VERSION  FRANCAISE 

VERSION  ANGLAKE 

Couverture 

31  (33) 
(difficUe) 

54 
(assez  difficUe) 

Caractdristiques 
ddmographiques 

41  (40) 
(difficUe) 

79 
(assez  facUe) 

Tongue 

36(37) 
(difficUe) 

69 
(standard) 

Immigration 

27  (41) 
(tr^  difficUe) 

72 
(assez  facUe) 

Origine  ethnique 

27  (33) 
(tr^  difficUe) 

37 
.  (difficUe) 

Limitations 
d'activit6 

0(48) 
(dts  difficUe) 

58 
(assez  difficUe) 

MobUitd 

42(36) 
(difficUe) 

74 
(assez  facUe) 

Scolaritd 

0(0) 
(tr^  difficUe) 

29 
(tr^  difficUe) 

Travail 

23  (26) 
(trfes  difficUe) 

58 
(assez  difficUe) 

Revenu 

0  (0) 
(tr^  difficUe) 

23 
(tr^  difficUe) 

Logement 

43  (52) 
(difficUe) 

72 
(assez  facUe) 

SAT 

37  (37) 
(difficUe) 

59 
(assez  difficUe) 

**  Le  deuxifeme  d6coupage  ne  retient  que  les  questions,  sans  les  cat6gories  de  r6ponse.  n  est 
identique  au  d6coupage  effectu6  sur  la  version  anglaise  des  questionnaires 
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APPENDICE  D 
QUESTIONNAIRE  DU  TRN  DE  1993 


Scores  ^c  HsibOitd  (Plescb),  par  module, 
deuxi^me  d^oupage** 

(ptemiet  d^coupage  eiitre  parentheses) 

MODULE 

VERSION  FRANCAKE 

VERSION  ANGLAISE 

Couverture 

29  (32) 
(tr^  difficile) 

57 
(assez  difficUe) 

Caract6ristiques 
d6mographiques 

40  (39) 
(difficile) 

79 
(assez  facUe) 

Tangue 

36  (44) 
(difficile) 

64 
(standard) 

Immigration 

21  (38) 
(tires  difficUe) 

61 
(standard) 

Origine  ethnique 

.      8 
(tr^s  difficile) 

31 
(difficUe) 

Limitations 
d'activit6 

22  (39) 
(tr^  difficile) 

64 
(standard) 

Mobilit6 

29  (11) 
(trhs  difficile) 

54 
(assez  difficUe) 

Scolarit6 

6  (12) 
(tr^  difficile) 

33 
(difficUe) 

Travail 

23(31) 
(tr6s  difficile) 

60 
(standard) 

Revenu 

0(0) 
(tr6s  difficUe) 

28 
(tibs  difficUe) 

T  ogement 

41  (52) 
(difficUe) 

68 
(standard) 

**  Le  deuxi^me  d6coupage  ne  retient  que  les  questions,  sans  les  categories  de  r6ponse.  n  est 
identique  au  d6coupage  effectu6  sur  la  version  anglaise  des  questionnaires 


Annexe  C 

Comparison  of  the  Language  Levels  of  the 

1991  and  1996  Census  Questionnaires 

(2A  and  2B,  English  and  French) 
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Comparison  of  the  Language  Levels  of  the 

1991  and  1996  Census  Questionnau«s 

(2A  and  2B,  English  and  French) 

The  tables  below  are  the  results  of  language  level  testing  of  the  1991  and  1996  (9/1/95  draft) 
Census  Questionnaires.  The  full  2A  and  2B  forms,  as  well  as  individual  subject  areas 
(modules),  were  tested  in  both  EngUsh  and  French.  The  software  packages  used  were 
Grammatik  5  (English)  and  Grammatik  1.0  (version  ftangaise). 

These  tests  support  a  Statistics  Canada  policy  to  communicate  with  the  general  population 
using  simple  language.  The  goal  is  to  produce  questionnaires  requiring  no  higher  than  a 
grade  8  reading  level  (a  Flesch  Reading  Ease  index  of  60  or  more). 

The  modules  tested  are  not  exactly  the  same  as  those  that  appear  in  other  parts  of  this  report 
because: 

-  AU  modules  in  this  test  include  the  response  categories.   (The  previously  tested  EngUsh 
modules  did  not.  French  modules  were  tested  both  with  and  without  response  categories 
and  both  versions  are  presented  in  Report  8.) 

-  Since  the  1991  Immigration  Module  previously  tested  was  found  to  be  incomplete 
(question  12,  country  of  citizenship  was  not  included),  all  the  1991  and  1996  modides 
were  re-defined  so  that  they  would  be  comparable  and  include  all  appropriate  questions. 
See  Table  1,  "Modules  and  their  Component  Questions"  for  the  questions  included  in 
each  module. 

The  results  of  the  tests  of  the  EngUsh  questionnaires  should  not  be  compared  with  the  results 
of  the  tests  of  the  French  questionnaires  because  of  the  Umitations  of  the  French  version  of 
Grammatik  described  in  Report  8  above.  It  is  only  vaUd  to  compare  1991  results  to  1996 
results  sq)arately  for  both  EngUsh  and  French  questionnaires  and  modules. 

EngUsh  Questionnaires  and  Modules,  1991  and  1996 

Please  refer  to  Table  2,  "Reading  Level  Comparisons,  1991  and  1996,  for  EngUsh  2A  and 
2B  Census  Questionnaires  and  their  Modules". 

According  to  the  Flesch  Reading  Ease  index,  tiie  1996  2A  EngUsh  questionnaire  is  sUghtiy 
easier  to  read  and  the  2B,  sUghtiy  more  difficult,  than  in  1991.   Of  the  seventeen  1996 
modules  tested,  5  are  easier  to  read  (higher  scores)  and  8  are  more  difficuU  (lower  scores) 
than  in  1991.  (Four  modules  cannot  be  compared  because  they  appear  only  on  eitiier  tiie 
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1991  questionnaire  or  the  1996  questionnaire.) 

The  most  difficult  1996  modules  of  the  EngUsh  2B  questionnaire  are  Education,  Ethnic 
Origin,  Mobility,  and  Income. 

Any  modules  that  have  a  Flesch  Reading  Ease  index  of  less  than  60  require  at  least  some 
high  school,  and  possibly  university,  education  to  read  and  understand  them.  Nme  1996 
modules  have  indices  of  less  than  60  (compared  to  8  in  1991),  including  the  full  2B  form 
Two  1996  modules,  MobiUty  and  Activity  Limitations,  had  indices  higher  than  60  m  1991 
but  have  fallen  below  the  grade  8  reading  level  threshold  for  1996. 

Most  modules  show  very  Uttle  change  in  required  reading  level.  However,  there  are  some 
exceptions.  The  ending  for  the  1996  2A  form  has  improved  its  readability  score  the  most 
(+23  points).  It  is  now  at  a  grade  8  reading  level  in  spite  of  being  much  longer  due  to  the 
inclusion  of  the  user  guide  which  was  a  separate  document  in  1991. 

The  ending  for  the  1996  2B  form  has  also  made  a  significant  improvement  (+14  points).  In 
1991,  the  ending  consisted  of  a  description  of  the  telephone  assistance  service.  In  1996,  the 
ending  consists  of  "The  law  protects  what  you  tell  us". 

The  1996  Mobility  Module  has  become  significantly  more  difficult  to  read  (-19  points) 
despite  the  reduction  of  the  number  of  questions  asked.  This  is  probably  due  to  the  addition 
of  the  note  requiring  the  respondent  to  identify  the  smaller  municipaUty  Uved  in  within  a 
larger  metropolitan  city. 

Freuch  Questionnaires  and  Modules,  1991  and  1996 

Please  refer  to  Table  3,  "Reading  Level  Comparisons,  1991  and  1996,  for  French  2A  and  2B 
Census  Questionnaires  and  their  Modules". 

According  to  the  Grammatik  user  guides,  the  equation  from  the  EngUsh  version  of 
Grammatik  (incorporating  number  of  syllables  in  words  and  number  of  words  in  sentences) 
has  also  been  used  to  calculate  the  Flesch  Reading  Ease  indices  in  the  French  version.   Smce 
French  has  more  multisyllabic  words  and  longer  sentences  than  English,  the  indices 
calculated  for  French  modules  are  naturaUy  lower.  However,  the  French  reading  level 
thresholds  for  the  Hesch  Reading  Ease  index  (footnoted  at  the  bottom  of  Table  3)  are  the 
same  as  those  for  the  EngUsh  version,  taking  no  account  of  the  differences  in  the  French 
language. 

The  results  in  Table  3  show  that  every  module  has  an  index  of  less  than  60  and,  therefore, 
requires  a  reading  level  of  at  least  high  school.   As  noted  in  the  report,  the  abUity  of  the 
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French  version  of  Grammatik  to  assign  appropriate  grade  levels  is  in  serious  doubt.  Thus, 
while  the  French  modules  may  appear  to  be  more  difficult  to  read  than  their  English 
counterparts,  their  degree  of  difficulty  may  not  be  as  severe  as  the  numeric  results  suggest. 
The  indices  obtained  from  the  French  version  of  Grammatik  are  more  useful  for  comparing 
the  changes  between  1991  and  1996  in  the  same  module  and  for  indicating  the  relative 
difficulty  of  modules. 

According  to  the  Flesch  Reading  Ease  index,  both  the  1996  2A  and  2B  French  questionnaires 
are  slightly  easier  to  read  than  in  1991.  Of  the  seventeen  1996  modules  tested,  4  are  easier 
to  read  (higher  scores)  and  7  are  more  difficult  (lower  scores)  than  in  1991.   There  was  no 
change  for  2  modules.   (Four  modules  cannot  be  compared  because  they  appear  only  on 
either  the  1991  questionnaire  or  the  1996  questionnaire.) 

The  most  difficult  1996  modules  of  the  French  2B  questionnaire  are  Education,  Income, 
Mobility  and  Travel  to  Work. 
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Table  1:     Structure  of  the  Modules  and  their  Component  Questions 


Module 

mt 

immm4)m   1 

2A 

entire  fonii 

entire  form 

2B 

entire  form 

entire  form 

BEGINNING  &  COVERAGE 
(2A  &  2B) 

page  1-3,  to  end  of 
STEP  9 

page  1-3,  to  end  of 
STEP  7 

ENDING  -  2A 

lower  half  of  page  6 

page  6,  i.e.,  STEP  8 
and  notes 

ENDING -2B 

STEP  12  i.e.,  lower  pg. 
27  and  page  28 

page31,32,  i.e.,  STEP 
9  and  back  page 

FAMILY  &  DEMOGRAPfflCS 

#1-6 

#1-6 

LANGUAGE 

#  7-10 

#9-12 

IMMIGRATION 

#  11-14 

#  13-16                           II 

ETHNIC  ORIGIN 

#  15,16 

#  17-21 

ACTIVITY  LIMITATIONS 

#18,19 

#7,8                                1 

MOBILITY 

#  20-22 

#  22,23                            1 

EDUCATION 

#  24-29 

#24-29 

UNPAID  WORK 

not  asked  in  1991 

#30 

PAID  WORK 

#30-44 

#  31-43,45,46 

INCOME 

#45 

#47 

DWFTLING 

#  H1-H8 

STEP  8,  i.e., 
#  H1-H8 

TRAVEL  TO  WORK 

not  asked  in  1991 

#44 

REUGION 

#17 

not  asked  in  1996 

FERTILITY 

#23 

not  asked  in  1996 

1 
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,ble  2:      Reading  Level  Comparisons,  1991  and  1996,  for  English  2A  and  2B  Census  Questionnaires  and  Uieir  Modules 


ST*?!CHI«;ADmOMSE<      .       1 

<3UNNINi5'SKHJ  INDEX 

l-tESCR-KINCAID 

MOOmES 

^  .iJ»i .. 

>a/95draft) 

tNCKEASE/ 
:  DECREASE 

mi 

mt 

tm 

0>rti<>Sdtaft> 

FULL2A 

60 

63 

+3 

10 

10 

8 

7 

FULL2B 

58 

56 

-2 

11 

11 

8 

8 

BEGINNING  & 
COVERAGE  (2A  & 
2B) 

60 

61 

+1 

11 

10 

8 

7 

ENDING  -  2A' 

41 

64 

+23 

11 

• 

11 

10 

8 

ENDING  -  2B' 

41 

55 

+  14 

11 

12 

10 

9 

FAMILY  & 
DEMOGRAPHICS 

63 

64 

+1 

9 

9 

7 

7 

LANGUAGE 

66 

62 

-4 

8 

9 

7 

8 

IMMIGRATION 

70 

63 

-7 

9 

10 

5 

6 

ETHNIC  ORIGIN 

36 

44 

+8 

17 

13 

12 

11 

ACTIVITY 
LIMITATIONS 

63 

58 

-5 

10 

11 

7 

8 

MOBILITY 

64 

45 

-19 

9 

11 

7 

11 

EDUCATION 

27 

25 

-2 

17 

17 

14 

14 

UNPAID  WORK* 

«. 

55 

- 

- 

12 

- 

9 

PAID  WORK 

59 

55 

-4 

12 

12 

8 

9 

INCOME 

55 

48 

-7 

10 

11 

8 

9 

DWELLING 

69 

68 

-1 

9 

9 

7 

7 

TRAVEL  TO 
WORK* 

- 

67 

- 

- 

10 

- 

8 

RELIGION* 

35 

. 

- 

18 

- 

12 

- 

FERTILITY* 

74 

- 

- 

7 

- 

5 

In  1991  the  endings  for  the  2a  and  2b  Census  Questionnaires  were  abnost  identical. 

No  questions  about  unpaid  woric  or  mode  of  travel  to  woik  were  asked  on  the  1991  Census  Questionnaire. 

Questions  about  religion  and  fertility  wiU  be  dropped  for  the  .1996  Census. 

Flesch  Reading  Ease  Scores  (firom  Grammatik  V  User's  Guide,  1992) 


Score  Reading  Level 
90-100     very  easy 
80-90  easy 
70-80  fairly  easy 
60-70  standard 


Aporojumate  Grade 
grade  4 
grade  5 
grade  6 
grade  7-8 


50-60  fairly  difficult     some  high  school 

30-50  difficult  high  school-university 

0-30    very  difficult  university  level  and  up 
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Table  3:     Reading  Level  Comparisons  (only  Flesch  Reading  Ease  aTailable),  1991  and  1996,  for  French  2A  and  2B 
Census  Questionnaires  and  their  Modules 


MOi>ur,i?.<t 

3rajSSC0  WJA30ING  3EASe« 

mi 

m6 
{mm  draft) 

INCREASE/ 
DECREASE . , 

FULL  2A 

35 

36 

+1 

FULL2B 

26 

29 

+3 

BEGINNING  &  COVERAGE  (2A  &  2B) 

32 

38 

+6 

ENDING  -  2A* 

35 

36 

+1 

ENDING  -  2B' 

36 

34 

-2 

FAMILY  &  DEMOGRAPHICS 

32 

30 

-2 

LANGUAGE 

26 

26 

no  change 

IMMIGRATION 

41 

39 

-2 

ETHNIC  ORIGIN 

21 

10 

-11 

ACTIVITY  LIMITATIONS 

28 

25 

-3 

MOBILITY 

24 

5 

-19 

EDUCATION 

0 

0 

no  change 

UNPAID  WORK* 

41 

- 

PAID  WORK 

21 

26 

+5 

INCOME 

0 

4 

+4 

DWELLING 

44 

42 

-2 

TRAVEL  TO  WORK* 

- 

9 

- 

RELIGION' 

0 

- 

- 

FERTILITY* 

60 

- 

- 

1  In  1991,  the  endings  for  the  2a  and  2b  Census  Questionnaires  were  almost  identical. 

2  No  questions  about  unpaid  woik  or  mode  of  travel  to  woric  were  asked  on  the  1991  Census  Questionnaire. 

3  Questions  about  religion  and  fertility  will  be  dropped  for  the  1996  Census. 

4  Flesch  Reading  Ease  Scores  (from  Grammatik  1.0  User's  Guide,  1990) 


Score 

Readine  Level 

AoDroximate  Grade 

90-100 

very  easy 

grade  4 

80-90 

easy 

grade  5 

70-80 

fairly  easy 

grade  6 

60-70 

standard 

grade  7-8 

50-60 

fairly  difficult 

some  high  school 

30-50 

difficult 

high  school-university 

0-30 

very  difficult 

university  level  and  up 
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